
# загружаем библиотеки
import os
import pandas as pd
import datetime as dt
import plotly.express as px
from matplotlib import pyplot as plt
from plotly import graph_objects as go
from scipy import stats as st
import numpy as np
import math as mth


# для подгрузки данных будем использовать методы модуля os
def read_file(file_name):
    
    path_1 = os.path.join('/datasets/', file_name)
    path_2 = os.path.join( file_name)
    
    if os.path.isfile(path_1):
        df = pd.read_csv(path_1)
        return df
    
    elif os.path.isfile(path_2):
        df = pd.read_csv(path_2)
        return df
    
    else:
        print('File is not found')


# сохраним результат функции `read_file` в соответствующие переменные
ab_project_marketing_events = read_file('ab_project_marketing_events.csv')

final_ab_new_users = read_file('final_ab_new_users.csv')

final_ab_events = read_file('final_ab_events.csv')

final_ab_participants = read_file('final_ab_participants.csv')


ab_project_marketing_events.head(5)


ab_project_marketing_events.info()

<class 'pandas.core.frame.DataFrame'>
RangeIndex: 14 entries, 0 to 13
Data columns (total 4 columns):
 #   Column     Non-Null Count  Dtype 
---  ------     --------------  ----- 
 0   name       14 non-null     object
 1   regions    14 non-null     object
 2   start_dt   14 non-null     object
 3   finish_dt  14 non-null     object
dtypes: object(4)
memory usage: 576.0+ bytes


final_ab_new_users.tail(5)


final_ab_new_users.info()

<class 'pandas.core.frame.DataFrame'>
RangeIndex: 61733 entries, 0 to 61732
Data columns (total 4 columns):
 #   Column      Non-Null Count  Dtype 
---  ------      --------------  ----- 
 0   user_id     61733 non-null  object
 1   first_date  61733 non-null  object
 2   region      61733 non-null  object
 3   device      61733 non-null  object
dtypes: object(4)
memory usage: 1.9+ MB


final_ab_events.sample(5)


final_ab_events.info()

<class 'pandas.core.frame.DataFrame'>
RangeIndex: 440317 entries, 0 to 440316
Data columns (total 4 columns):
 #   Column      Non-Null Count   Dtype  
---  ------      --------------   -----  
 0   user_id     440317 non-null  object 
 1   event_dt    440317 non-null  object 
 2   event_name  440317 non-null  object 
 3   details     62740 non-null   float64
dtypes: float64(1), object(3)
memory usage: 13.4+ MB


final_ab_participants.sample(5)


final_ab_participants.info()

<class 'pandas.core.frame.DataFrame'>
RangeIndex: 18268 entries, 0 to 18267
Data columns (total 3 columns):
 #   Column   Non-Null Count  Dtype 
---  ------   --------------  ----- 
 0   user_id  18268 non-null  object
 1   group    18268 non-null  object
 2   ab_test  18268 non-null  object
dtypes: object(3)
memory usage: 428.3+ KB


ab_project_marketing_events.dtypes

name         object
regions      object
start_dt     object
finish_dt    object
dtype: object


ab_project_marketing_events['start_dt'] \
= pd.to_datetime(ab_project_marketing_events['start_dt'])

ab_project_marketing_events['finish_dt'] \
= pd.to_datetime(ab_project_marketing_events['finish_dt'])


# check
ab_project_marketing_events.dtypes

name                 object
regions              object
start_dt     datetime64[ns]
finish_dt    datetime64[ns]
dtype: object


ab_project_marketing_events.isna().sum()

name         0
regions      0
start_dt     0
finish_dt    0
dtype: int64


ab_project_marketing_events.duplicated().sum()

0


final_ab_new_users.dtypes

user_id       object
first_date    object
region        object
device        object
dtype: object


final_ab_new_users['first_date'] \
= pd.to_datetime(final_ab_new_users['first_date'])


# check
final_ab_new_users.dtypes

user_id               object
first_date    datetime64[ns]
region                object
device                object
dtype: object


final_ab_new_users.isna().sum()

user_id       0
first_date    0
region        0
device        0
dtype: int64


final_ab_new_users.duplicated().sum()

0


final_ab_events.dtypes

user_id        object
event_dt       object
event_name     object
details       float64
dtype: object


final_ab_events['event_dt'] = pd.to_datetime(final_ab_events['event_dt'])


# check
final_ab_new_users.dtypes

user_id               object
first_date    datetime64[ns]
region                object
device                object
dtype: object


final_ab_events.isna().sum()

user_id            0
event_dt           0
event_name         0
details       377577
dtype: int64


# сохраним данные с пропусками в столбце переменной "missing_values"
missing_values = final_ab_events[final_ab_events['details'].isnull()]


missing_values.event_name.value_counts()

login           189552
product_page    125563
product_cart     62462
Name: event_name, dtype: int64


final_ab_events.event_name.value_counts()

login           189552
product_page    125563
purchase         62740
product_cart     62462
Name: event_name, dtype: int64


final_ab_events.duplicated().sum()

0


final_ab_participants.dtypes

user_id    object
group      object
ab_test    object
dtype: object


final_ab_participants.isna().sum()

user_id    0
group      0
ab_test    0
dtype: int64


final_ab_participants.duplicated().sum()

0


print('Дата регистрации с', final_ab_new_users['first_date'].min(), 'по', \
      final_ab_new_users['first_date'].max())

Дата регистрации с 2020-12-07 00:00:00 по 2020-12-23 00:00:00


final_ab_new_users = final_ab_new_users[final_ab_new_users['first_date'] <= "2020-12-21"]


# check
print('Дата регистрации с', final_ab_new_users['first_date'].min(), 'по', \
      final_ab_new_users['first_date'].max())

Дата регистрации с 2020-12-07 00:00:00 по 2020-12-21 00:00:00


print('Дата и время события с', final_ab_events['event_dt'].min(), 'по', \
      final_ab_events['event_dt'].max())

Дата и время события с 2020-12-07 00:00:33 по 2020-12-30 23:36:33


final_ab = pd.merge(final_ab_participants, final_ab_events, on='user_id')
final_ab.head()


final_ab = pd.merge(final_ab, final_ab_new_users, on='user_id')
final_ab.head()


final_ab.info()

<class 'pandas.core.frame.DataFrame'>
Int64Index: 100508 entries, 0 to 100507
Data columns (total 9 columns):
 #   Column      Non-Null Count   Dtype         
---  ------      --------------   -----         
 0   user_id     100508 non-null  object        
 1   group       100508 non-null  object        
 2   ab_test     100508 non-null  object        
 3   event_dt    100508 non-null  datetime64[ns]
 4   event_name  100508 non-null  object        
 5   details     14539 non-null   float64       
 6   first_date  100508 non-null  datetime64[ns]
 7   region      100508 non-null  object        
 8   device      100508 non-null  object        
dtypes: datetime64[ns](2), float64(1), object(6)
memory usage: 7.7+ MB


final_ab_participants_users = final_ab_participants['user_id'].nunique()
final_ab_users = final_ab['user_id'].nunique()
abs_final_ab_participants_users_lost = final_ab_participants_users - final_ab_users
rel_final_ab_participants_users_lost = abs_final_ab_participants_users_lost * 100 / final_ab_participants_users

print('Количество участников -', final_ab_participants_users)
print('Количество участников после объединения таблиц -', final_ab_users)
print('Количество участников, которое мы потеряли после объединения таблиц в абсолютной величине -', \
      abs_final_ab_participants_users_lost)
print('Количество участников, которое мы потеряли после объединения таблиц в относительной величине -', \
      round(rel_final_ab_participants_users_lost), '%')

Количество участников - 16666
Количество участников после объединения таблиц - 12636
Количество участников, которое мы потеряли после объединения таблиц в абсолютной величине - 4030
Количество участников, которое мы потеряли после объединения таблиц в относительной величине - 24 %


# final_ab.ab_test.value_counts()


final_ab.ab_test.unique()

array(['recommender_system_test', 'interface_eu_test'], dtype=object)


final_ab = final_ab[final_ab['ab_test'] == 'recommender_system_test']


final_ab.ab_test.unique()

array(['recommender_system_test'], dtype=object)


final_ab.group.unique()

array(['A', 'B'], dtype=object)


# check
final_ab.first_date.min()

Timestamp('2020-12-07 00:00:00')


# check
final_ab.first_date.max()

Timestamp('2020-12-21 00:00:00')


final_ab['event_date'] = pd.to_datetime(final_ab['event_dt']).dt.date
final_ab['event_date'] = pd.to_datetime(final_ab['event_date'])

final_ab.event_date.head(3)

0   2020-12-07
1   2020-12-25
2   2020-12-07
Name: event_date, dtype: datetime64[ns]


# check
print('Дата остановки теста', final_ab.event_date.max())

Дата остановки теста 2020-12-30 00:00:00


final_ab['day'] = final_ab['event_date'] - final_ab['first_date']

final_ab.head(2)


final_ab = final_ab[final_ab['day'] <= '14']


# check
final_ab[final_ab['day'] > '14']


final_ab.groupby('region').agg(user_id=('user_id', 'nunique'))


final_ab = final_ab[final_ab['region'] == 'EU']


# check
final_ab.groupby('region').agg(user_id=('user_id', 'nunique'))


rec_users = (pd.merge(final_ab_participants, final_ab_new_users, on='user_id')
                .query('ab_test == "recommender_system_test"')
                .reset_index(drop=True))

rec_users.head()


# количество новых пользователей из Европы
audience_EU_new_users = final_ab_new_users[final_ab_new_users['region'] == 'EU']['user_id'].nunique()

# количество пользователей из региона 'EU', которые попали в тест
rec_users_EU = rec_users[rec_users['region'] == 'EU']['user_id'].nunique()

# доля новых пользователей из региона EU, которые попали в тест
share_audience_EU = rec_users_EU * 100 / audience_EU_new_users

print('Доля новых пользователей из региона EU, которая попала в тест -', round(share_audience_EU), '%')

Доля новых пользователей из региона EU, которая попала в тест - 15 %


final_ab['user_id'].nunique()

3467


final_ab = final_ab.reset_index(drop=True)
final_ab.tail(3)


ab_project_marketing_events.head(2)


ab_project_marketing_events[((ab_project_marketing_events['start_dt'] <= '2020-12-30') & 
                             (ab_project_marketing_events['finish_dt']>= '2020-12-07')) &  
                             (ab_project_marketing_events['regions'].str.contains('EU'))
                           ]


# создадим таблицу "ab_interface_eu_test", объединив последовательно таблицы "final_ab_participants",
# "final_ab_events" и "final_ab_new_users"
ab_interface_eu_test = (final_ab_participants
                        .query('ab_test == "interface_eu_test"')
                        .merge(final_ab_events, on='user_id'))

ab_interface_eu_test = ab_interface_eu_test.merge(final_ab_new_users, on='user_id')

ab_interface_eu_test.sample(5)


# найдем пользователей, которые учавствовали в тесте "interface_eu_test" и "recommender_system_test" 
# сохраним таких пользователей в таблице "two_test_users"
two_test_users = ab_interface_eu_test[ab_interface_eu_test['user_id'].isin(final_ab['user_id'])]

two_test_users.reset_index(drop=True).head()


# узнаем какое колиичество уникальных пользователей попало в оба теста, и обе группы
two_test_users.groupby('group').agg({'user_id': 'nunique'})


# найдем пользователей, которые учавствовали в обоих тестах в группе "B"
two_test_B = ab_interface_eu_test[(ab_interface_eu_test['group'] == 'B') &
                                  ab_interface_eu_test['user_id']
                                  .isin(final_ab[final_ab['group'] == 'B']['user_id'])]

two_test_B['user_id'].nunique()

104


final_ab = final_ab.drop(final_ab[final_ab['user_id'].isin(two_test_B['user_id'])].index)


# check
two_test_B = ab_interface_eu_test[(ab_interface_eu_test['group'] == 'B') &
                                  ab_interface_eu_test['user_id']
                                  .isin(final_ab[final_ab['group'] == 'B']['user_id'])]

two_test_B['user_id'].nunique()

0


# найдем пользователей, которые учавствовали в тесте `interface_eu_test` группы `B` и 
# `recommender_system_test` группы `A`
int_B_rec_A = ab_interface_eu_test[(ab_interface_eu_test['group'] == 'B') &
                                   ab_interface_eu_test['user_id']
                                   .isin(final_ab[final_ab['group'] == 'A']['user_id'])]

int_B_rec_A['user_id'].nunique()

325


final_ab = final_ab.drop(final_ab[final_ab['user_id'].isin(int_B_rec_A['user_id'])].index)


# check
int_B_rec_A = ab_interface_eu_test[(ab_interface_eu_test['group'] == 'B') &
                                   ab_interface_eu_test['user_id']
                                   .isin(final_ab[final_ab['group'] == 'A']['user_id'])]

int_B_rec_A['user_id'].nunique()

0


# check
two_test_users = ab_interface_eu_test[ab_interface_eu_test['user_id'].isin(final_ab['user_id'])]
two_test_users.groupby('group').agg({'user_id': 'nunique'})


final_ab.reset_index(drop=True).head(2)


a_b_users = final_ab.groupby('user_id').agg({'group': ['nunique', 'unique']})
a_b_users.columns = ['groups', 'group_name']
a_b_users = a_b_users.query('groups > 1')
print('Количество пользователей в группе A:', final_ab.query('group == "A"')['user_id'].nunique())
print('Количество пользователей в группе B:', final_ab.query('group == "B"')['user_id'].nunique())
print('Количество пользователей, попавших обе группы:', len(a_b_users))

Количество пользователей в группе A: 2273
Количество пользователей в группе B: 765
Количество пользователей, попавших обе группы: 0


# проверим долю новых пользователей из региона 'EU', которые попали в тест
# количество пользователей из региона 'EU', которые попали в тест
test_audience_EU = final_ab[final_ab['region'] == 'EU']['user_id'].nunique()

# доля новых пользователей из региона EU, которые попали в тест
share_audience_EU = test_audience_EU * 100 / audience_EU_new_users


print('Дата запуска теста:', final_ab.first_date.min())
print('Дата остановки набора новых пользователей:', final_ab.first_date.max())
print('Дата остановки теста:', final_ab.event_dt.max())
# print('Аудитория: доля новых пользователей из региона EU, которая попала в тест -', round(share_audience_EU), '%')
print('Ожидаемое количество участников теста:', final_ab['user_id'].nunique())

Дата запуска теста: 2020-12-07 00:00:00
Дата остановки набора новых пользователей: 2020-12-21 00:00:00
Дата остановки теста: 2020-12-21 23:58:57
Ожидаемое количество участников теста: 3038


events_per_user = final_ab.groupby('group').agg({'event_name': 'count',
                                                 'user_id': 'nunique'})

events_per_user['avg_event'] = round(events_per_user['event_name'] / events_per_user['user_id'])

events_per_user


# соберем данные о количестве событий на каждого пользователя для группы 'A' и группы 'B'
events_per_user = final_ab.pivot_table(index=['user_id', 'group'], values='event_name', aggfunc='count')

events_per_user.head()


# строим гистограмму
fig = px.histogram(events_per_user.reset_index(),
                   x='event_name',
                   color='group',
                   histnorm='probability density',
                   barmode ='overlay')

# оформляем график
fig.update_layout(title='Распределение событий на пользователя в группе A и B',
                  xaxis_title='Количество событий',
                  yaxis_title='Плотность распределения',
                  legend_title='Группа')

fig.show()


events_per_day = final_ab.groupby(['group', 'event_date']).agg(count=('event_name', 'count'))
events_per_day.head()


events_per_day = events_per_day.reset_index()

events_per_day_A = round(events_per_day.loc[events_per_day['group'] == 'A', 'count'].mean())
events_per_day_B = round(events_per_day.loc[events_per_day['group'] == 'B', 'count'].mean())

print('Среднее количество событий в день группы A -', events_per_day_A)
print('Среднее количество событий в день группы B -', events_per_day_B)

Среднее количество событий в день группы A - 344
Среднее количество событий в день группы B - 107


# визуализируем данные таблицы 'events_per_day'
fig = px.bar(events_per_day.reset_index(),
                   x='event_date',
                   y='count',
                   color='group',
                   barmode ='group')

# оформляем график
fig.update_layout(title='Распределение событий по дням в группе A и B',
                  xaxis_title='Дата',
                  yaxis_title='Плотность распределения',
                  legend_title='Группа')

fig.show()


final_ab['event_dt'].hist(bins=14*24, figsize=(14, 5))

plt.minorticks_on()
plt.grid(which='minor', color='#aaa', ls=':')

plt.ylabel('Количество событий', fontsize = 12)
plt.xlabel('Дата', fontsize = 12)
plt.title('Распределение количества событий обеих групп теста по дням', fontsize = 14);

plt.show()


event_name_users = (final_ab
                    .pivot_table(index='event_name', columns='group', values='user_id', aggfunc='nunique'))

event_name_users.columns = ['A', 'B']

event_name_users


event_name_users = event_name_users.reset_index().reindex([0,2,1,3]).reset_index(drop=True)

event_name_users


fig = go.Figure()

fig.add_trace(go.Funnel(
    name = 'Группа A',
    y = ['login', 'product_page', 'product_cart', 'purchase'],
    x = event_name_users['A'],
    textinfo = "value+percent initial"))

fig.add_trace(go.Funnel(
    name = 'Группа B',
    y = ['login', 'product_page', 'product_cart', 'purchase'],
    x = event_name_users['B'],
    textinfo = "value+percent initial"))

fig.update_layout(title='Конверсия в воронке событий группы A и B',
                  xaxis_title='')

fig.show()


event_name_users['conv_A, %'] =  round(event_name_users['A'] * 100 / event_name_users['A'].shift(), 2)

event_name_users['conv_B, %'] =  round(event_name_users['B'] * 100 / event_name_users['B'].shift(), 2)

event_name_users['exp_res'] = round((event_name_users['conv_B, %'] - event_name_users['conv_A, %'])*100 \
/ event_name_users['conv_A, %'], 2)

event_name_users


a_b_test = final_ab.pivot_table(index='event_name', columns='group', values='user_id', aggfunc='nunique')

a_b_test.columns = ['A', 'B']

a_b_test


a_b_test_users = final_ab.pivot_table(index='group', values='user_id', aggfunc='nunique')

a_b_test_users


# критический уровень статистической значимости
alpha = .05 

successes = np.array([a_b_test['A'].iloc[0], a_b_test['B'].iloc[0]])
trials = np.array([a_b_test_users['user_id'].iloc[0], a_b_test_users['user_id'].iloc[1]])

# пропорция успехов в первой группе:
p1 = successes[0]/trials[0]

# пропорция успехов во второй группе:
p2 = successes[1]/trials[1]

# пропорция успехов в комбинированном датасете:
p_combined = (successes[0] + successes[1]) / (trials[0] + trials[1])

# разница пропорций в датасетах
difference = abs(p1 - p2) 

# считаем статистику в ст.отклонениях стандартного нормального распределения
z_value = difference / mth.sqrt(p_combined * (1 - p_combined) * (1/trials[0] + 1/trials[1]))

# задаем стандартное нормальное распределение (среднее 0, ст.отклонение 1)
distr = st.norm(0, 1) 

p_value = (1 - distr.cdf(abs(z_value))) * 2

print('p-значение: ', p_value)

if p_value < alpha:
     print('Отвергаем нулевую гипотезу: между долями есть значимая разница')
else:
    print('Не получилось отвергнуть нулевую гипотезу, нет оснований считать доли разными')

p-значение:  2.3742571078289032e-05
Отвергаем нулевую гипотезу: между долями есть значимая разница


def get_z_value(successes, trials, alpha): 
    
    p1 = successes[0]/trials[0]
    p2 = successes[1]/trials[1]

    p_combined = (successes[0] + successes[1]) / (trials[0] + trials[1])

    difference = p1 - p2 

    z_value = difference / mth.sqrt(p_combined * (1 - p_combined) * (1/trials[0] + 1/trials[1]))

    distr = st.norm(0, 1) 

    p_value = (1 - distr.cdf(abs(z_value))) * 2

    print('p-значение:', p_value)

    if p_value < alpha:
        print('Отвергаем нулевую гипотезу: между долями есть значимая разница')
    
    else:
        print('Не получилось отвергнуть нулевую гипотезу, нет оснований считать доли разными')


alpha_exp = alpha / 4
print(alpha_exp)

0.0125


alpha = 0.0125


for event_name in a_b_test.index:
    successes = np.array([a_b_test.loc[event_name, 'A'], a_b_test.loc[event_name, 'B']])
    trials = np.array([a_b_test_users['user_id'].iloc[0], a_b_test_users['user_id'].iloc[1]])
    
    print('Проверка равенства долей события', event_name, 'группы A и B')
    get_z_value(successes, trials, alpha)
    print('')

Проверка равенства долей события login группы A и B
p-значение: 2.3742571078289032e-05
Отвергаем нулевую гипотезу: между долями есть значимая разница

Проверка равенства долей события product_cart группы A и B
p-значение: 0.15873902266782336
Не получилось отвергнуть нулевую гипотезу, нет оснований считать доли разными

Проверка равенства долей события product_page группы A и B
p-значение: 1.2507690112517622e-06
Отвергаем нулевую гипотезу: между долями есть значимая разница

Проверка равенства долей события purchase группы A и B
p-значение: 0.04264272125867552
Не получилось отвергнуть нулевую гипотезу, нет оснований считать доли разными

	name	regions	start_dt	finish_dt
0	Christmas&New Year Promo	EU, N.America	2020-12-25	2021-01-03
1	St. Valentine's Day Giveaway	EU, CIS, APAC, N.America	2020-02-14	2020-02-16
2	St. Patric's Day Promo	EU, N.America	2020-03-17	2020-03-19
3	Easter Promo	EU, CIS, APAC, N.America	2020-04-12	2020-04-19
4	4th of July Promo	N.America	2020-07-04	2020-07-11

	user_id	first_date	region	device
61728	1DB53B933257165D	2020-12-20	EU	Android
61729	538643EB4527ED03	2020-12-20	EU	Mac
61730	7ADEE837D5D8CBBD	2020-12-20	EU	PC
61731	1C7D23927835213F	2020-12-20	EU	iPhone
61732	8F04273BB2860229	2020-12-20	EU	Android

	user_id	event_dt	event_name	details
220325	5280F7999905FE4C	2020-12-23 15:19:03	product_page	NaN
86553	E2CC1F7FA824E7D5	2020-12-16 06:36:37	product_cart	NaN
404589	1A22BCA466C914A6	2020-12-24 17:02:47	login	NaN
58183	831FE6AD2B5A38A9	2020-12-27 01:39:50	purchase	4.99
330590	C2960D22C20E7130	2020-12-17 03:05:59	login	NaN

	user_id	group	ab_test
14385	1A918D147A69E900	A	interface_eu_test
18164	2159AF0085D9D2F4	B	interface_eu_test
15023	7F05A9462DF1748F	B	interface_eu_test
13143	E0E6BAA9618EBA2E	B	interface_eu_test
9175	2C02642C6F4F48CB	B	interface_eu_test

	user_id	group	ab_test	event_dt	event_name	details	first_date	region	device	event_date
7716	80712ED4EA1B52A5	A	recommender_system_test	2020-12-14 05:48:50	product_cart	NaN	2020-12-14	EU	Android	2020-12-14
7717	80712ED4EA1B52A5	A	recommender_system_test	2020-12-14 05:48:51	product_page	NaN	2020-12-14	EU	Android	2020-12-14
7718	80712ED4EA1B52A5	A	recommender_system_test	2020-12-14 05:48:50	login	NaN	2020-12-14	EU	Android	2020-12-14

	user_id	group	ab_test	event_dt	event_name	details
0	D1ABA3E2887B6A73	A	recommender_system_test	2020-12-07 14:43:27	purchase	99.99
1	D1ABA3E2887B6A73	A	recommender_system_test	2020-12-25 00:04:56	purchase	4.99
2	D1ABA3E2887B6A73	A	recommender_system_test	2020-12-07 14:43:29	product_cart	NaN
3	D1ABA3E2887B6A73	A	recommender_system_test	2020-12-25 00:04:57	product_cart	NaN
4	D1ABA3E2887B6A73	A	recommender_system_test	2020-12-07 14:43:27	product_page	NaN

	user_id	group	ab_test	first_date	region	device
0	D1ABA3E2887B6A73	A	recommender_system_test	2020-12-07	EU	PC
1	A7A3664BD6242119	A	recommender_system_test	2020-12-20	EU	iPhone
2	DABC14FDDFADD29E	A	recommender_system_test	2020-12-08	EU	Mac
3	04988C5DF189632E	A	recommender_system_test	2020-12-14	EU	iPhone
4	482F14783456D21B	B	recommender_system_test	2020-12-14	EU	PC

	user_id	group	ab_test	event_dt	event_name	details	first_date	region	device
50050	9F4B06ED55DD7459	A	interface_eu_test	2020-12-14 21:57:04	login	NaN	2020-12-14	EU	Android
70508	9E96DBC540A55B2D	B	interface_eu_test	2020-12-20 22:02:20	purchase	4.99	2020-12-10	EU	Mac
68534	7AD5F7DF4F7851B7	B	interface_eu_test	2020-12-13 23:21:38	product_cart	NaN	2020-12-07	EU	PC
53364	9F8CA77BEE0122C4	B	interface_eu_test	2020-12-18 19:46:50	login	NaN	2020-12-13	EU	Android
38593	646C7F1F2E01D218	B	interface_eu_test	2020-12-18 23:56:02	purchase	4.99	2020-12-17	EU	iPhone

	user_id	group	ab_test	event_dt	event_name	details	first_date	region	device
0	FB6F6BC119E1DBD5	B	interface_eu_test	2020-12-18 05:10:22	product_page	NaN	2020-12-18	EU	Android
1	FB6F6BC119E1DBD5	B	interface_eu_test	2020-12-24 00:41:26	product_page	NaN	2020-12-18	EU	Android
2	FB6F6BC119E1DBD5	B	interface_eu_test	2020-12-18 05:10:21	login	NaN	2020-12-18	EU	Android
3	FB6F6BC119E1DBD5	B	interface_eu_test	2020-12-24 00:41:25	login	NaN	2020-12-18	EU	Android
4	055A4CD17A483B8E	A	interface_eu_test	2020-12-19 13:28:31	purchase	9.99	2020-12-19	EU	Android

		event_name
user_id	group
0010A1C096941592	A	3
00341D8401F0F665	A	1
003DF44D7589BBD4	A	3
00505E15A9D81546	A	1
005E096DBD379BCF	B	2

	A	B
event_name
login	2273	759
product_cart	685	210
product_page	1474	421
purchase	731	216

	user_id
group
A	456
B	429

	event_name	user_id	avg_event
group
A	5163	2273	2.0
B	1606	765	2.0

		count
group	event_date
A	2020-12-07	263
	2020-12-08	176
	2020-12-09	154
	2020-12-10	108
	2020-12-11	157

Обзор данных¶

Таблица ab_project_marketing_events¶

Таблица final_ab_new_users¶

Таблица final_ab_events¶

Таблица final_ab_participants¶

Предобработка данных¶

Таблица ab_project_marketing_events¶

Изменение типов данных¶

Удаление пропусков¶

Обработка дубликатов¶

Таблица final_ab_new_users¶

Изменение типов данных¶

Удаление пропусков¶

Обработка дубликатов¶

Таблица final_ab_events¶

Изменение типов данных¶

Удаление пропусков¶

Обработка дубликатов¶

Таблица final_ab_participants¶¶

Изменение типов данных¶

Удаление пропусков¶

Обработка дубликатов¶

Оценка корректности проведения теста¶

Проверка данных требованиям технического задания¶

Название теста: recommender_system_test¶

Группы: А (контрольная), B (новая платёжная воронка)¶

Дата запуска теста: 2020-12-07¶

Дата остановки набора новых пользователей: 2020-12-21¶

Дата остановки теста: 2021-01-04¶

Ожидаемый эффект: за 14 дней с момента регистрации в системе пользователи покажут улучшение каждой метрики не менее, чем на 10%¶

Аудитория: 15% новых пользователей из региона EU¶

Ожидаемое количество участников теста: 6000¶

Время проведения теста¶

Аудитория теста¶

Исследовательский анализ данных¶

Распределение событий на пользователя¶

Распределение событий по дням¶

Конверсия в воронке в выборках на разных этапах¶

Особенности данных, которые необходимо учесть, прежде чем приступать к A/B-тестированию¶

Оценка результатов A/B-тестирования¶

Результаты A/B-тестирования¶

Анализ A/B-теста¶

Общий вывод¶